重新审视大语言模型在线策略蒸馏：单训练样本
🧭 On-Policy 蒸馏 · 数据效率 ★ 深度解读
Tsinghua University · University of Chinese Academy of Sciences · Northeastern University · University of Illinois Urbana-Champaign · Johns Hopkins University
一个 query 训练数百步即可恢复大部分 full-data OPD 增益，揭示 OPD 数据过剩、算法吸收是瓶颈
📌 工作参考价值（4 点）
- 工业 OPD 数据筛选可转向 state coverage 视角：不是收集更多 prompt，而是选语义多样、能诱导互补状态的少量 query（如 16 个/域即可匹配 full-data MOPD）。在电商 query 改写、生成式推荐、Agent 轨迹生成中，可先对 prompt/query 做语义聚类，取代表点训练，大幅降低标注与训练成本。
- 冷启动或无标注场景可借鉴 content-light 模板与离域日志：只要 teacher 能提供 token-level 监督，chat template + <think> 等空模板或历史对话也能驱动 OPD 接近真实 query 效果；可尝试用模板启动生成式推荐或 Agent 策略蒸馏。
- OPD 训练瓶颈在吸收率而非数据量：固定 states 仍需数百步收敛，说明加大 batch 或数据量未必加速；应优先优化步效率，如 batch reuse、trust region、按 token teacher signal 加权，减少训练步数。
- 多教师蒸馏可按域选少量语义代表 query，每域 16 条即可匹配全量，适合多业务线共享一个生成式推荐/Agent 模型时的数据配比与成本控制。
面向对象的 LeJEPA：利用 SAM 掩码实现数据高效的自监督学习
🧭 自监督对象中心表示学习
Biomedical Image Computing Group, ETH Zurich
用现成 SAM 对象掩码代替场景级对齐，搭配实例分离损失，大幅提升小数据下的视觉表示质量
📌 工作参考价值（4 点）
- 商品图像预训练：当你用自监督预训练商品图时，直接用 COCO 等通用数据可能效率不高；借鉴对象级 LeJEPA，用 SAM 自动提取商品主体 mask，只在对象区域进行对比，能更快学到细致特征，对小样本商品分类或相似款识别有效。
- 多商品场景分离：如果你做搭配推荐或店铺风格理解，一张图里有多件商品，实例分离损失（同图其他对象当负例）能强制每个商品特征相互远离，避免特征混淆，可复用到多兴趣用户向量或穿搭组合建模中。
- 伪掩码辅助训练：迁移其“廉价先验”思路——不追求端到端联合发现对象，直接用现成分割模型（如商品分割 API）生成伪标签，降低训练不稳定性和工程复杂度，在商品表示学习时快速落地。
- 数据效率验证：论文在 10% COCO 上仍显著优于全量图像级模型，提示你在标注稀缺的垂直行业（如小众品类、UGC 商品图）先用自监督预训练再微调，就可能得到较好基座。